An Dĩ Hiên sinh trưởng trong gia đình với người bố đơn thân và không gặp mẹ ruột từ khi cô còn rất nhỏ. Cô nhận sự giáo dục nghiêm khắc từ cha ruột và mẹ kế. Cha cô thuộc thế hệ thứ hai trong gia đình quan chức (quan nhị đại). Ông nắm giữ khối sản nghiệp lớn đồng thời làm chủ tập đoàn bảo an và công ty dệt quân dụng làm ăn phát đạt, khởi đầu kinh doanh tại Đài Trung sau đó mở rộng đến Đài Bắc. Ông nội là cán bộ cao cấp của chính phủ, bà nội là đại địa chủ miền Đông sở hữu nhiều bất động sản có giá trị.[2]